AdsWorldEngine: A Self-Evolving Conversational Advertising Agent through Orchestrator and Tool Coevolution
AdsWorldEngine：编排器与工具协同进化的对话广告 Agent
🧭 对话广告 Agent 与工具协同进化 ★ 深度解读
Microsoft
用 Actor-Tool 协同进化与标签锚定判断建模构建对话广告 Agent，取得显著离线与在线收益
📌 工作参考价值（4 点）
- 把“是否出广告/推荐/消息”从“出什么”里拆开：用 Opportunity Gate + asymmetric cost-sensitive GRPO 控制误触发。false positive 惩罚设为 -2、false negative 设为 -1，直接按业务损失编码；不要做 group std scaling，避免抹掉不对称 gap。适合电商 push、对话推荐插入、搜索广告位决策。
- Actor-Tool 协同进化：先用 final slate 的 relevance/diversity 奖励训练 Orchestrator，再用 high/low reward rollouts 构造 (intent, 正样本 ad, 负样本 ad) preference 对，以 DPO 式目标训练 retrieval/relevance/ranking tool。能把端到端业务奖励传导到召回/排序工具，适合已有检索/排序模型的团队。
- Orchestrator 的 GRPO 奖励要看最终 slate 的 relevance/diversity，而不是看生成 query 的表面多样性。训练后模型会从“2026 Honda Pilot vs Toyota Grand Highlander comparison”这种重叠 query 变成两个产品名 query，检索候选更不重叠。搜索 query 生成/改写可复用：评估 query 质量要用下游召回结果。
- Label grounded judgment modeling：用 human label + 生产 guideline 生成思维链，再用 reflection 过滤标签不一致的 rationale，能减少“流畅但违背 label”的监督噪声；适合做主观 relevance/机会判断模型。